Dilahirkan di Temerloh Pahang, Abdul Rahman mendapat pendidikan awal di tempat kelahirannya dan kemudian melanjutkan pengajian di Kolej Latihan Sultan Idris (SITC), Tanjung Malim, Perak. Beliau memulakan kerjayanya pada tahun 1940 sebagai seorang guru di Sekolah Abdullah, Kuantan dan lima tahun kemudian, pada tahun 1945, beliau dilantik menjadi Penolong Nazir Sekolah-sekolah Melayu Pahang. Pada tahun 1952, Abdul Rahman mengasaskan Jabatan Hal Ehwal Agama di Jabatan Pelajaran Pahang.Anaknya ialah Ahli Politik Veteran Tempatan Dato' Sri Fauzi Abdul Rahman bekas Ahli Parlimen Kuantan 1990-1999 , Ahli Parlimen Indera Mahkota 2013-2018 dan Bekas Pengerusi Pakatan Harapan Pahang dan Parti Keadilan Rakyat.Beliau pernah memegang jawatan Timbalan Menteri Di-Jabatan Perdana Menteri dan Setiausaha Parlimen Penerangan